生物医学图像分析算法验证取决于参考数据集的高质量注释，标记指令是关键。尽管它们的重要性，但他们的优化仍然没有得到探索。在这里，我们介绍了对标签指令及其对该领域注释质量的影响的首次系统研究。通过对Miccai协会注册的专业实践和国际比赛的全面检查，我们发现了注释者对标签说明的标签需求及其当前质量和可用性之间的差异。基于对156家专业公司的156个注释者和708个亚马逊机械土耳其人（MTURK）人群的注释者的14040张图像的分析，使用具有不同信息密度级别的说明，我们进一步发现，包括示例性图像与文本描述，唯一的描述，示例性图像显着增强了注释性能，虽然仅扩展文本说明并非如此。最后，专业注释者不断优于mturk人群。我们的研究提高了对生物医学图像分析标签指令中质量标准的需求的认识。
translated by 谷歌翻译